Trong năm 1064, có vẽ như Harold bị chìm tàu ở Ponthieu. Có nhiều đồn thổi về chuyến đi này. Theo các tài liệu sớm nhất người Norman ngay sau cuộc chinh phục ghi lại rằng ở một khoảng thời gian trước đó, Robert tên Tổng Giám mục Canterbury đã được gửi bởi vị vua không có con nối dõi để bổ nhiệm William xứ Normandy làm người thừa kế về đằng bên ngoại của Edward và nói rằng ngay sau đó Harold đã gửi đến lời thề trung thành với William.[2] Các nhà nghiên cứu đã không đồng ý với độ tin cậy của câu chuyện này. Ít nhất là dường như William đã tin tưởng rằng ông được kế, nhưng cũng có thể William đã bị nhầm lẫn hoặc có thể do cả hai người, bởi vì lúc đó việc thừa kế ngôi vua Anh không được xác định bởi vị vua đang trị vì.

Thay vào đó, Witenagemot tức một đội ngũ những danh nhân hàng đầu của vương quốc sẽ được triệu tập sau khi nhà vua từ trần để chọn một người kế nhiệm. Cách ứng xử của Edward không phù hợp với những gì ông đã hứa hẹn, chẳng hạn như những nỗ lực của ông để gọi lại cháu trai của ông-Edward Kẻ bị lưu đày, con trai của vua Edmund Ironside, từ Hungary về vào năm 1057.[3]

Sau đó các sử gia Norman đưa ra một cách giải thích khác cho cuộc hành trình Harold, rằng ông đang tìm cách giải thoát cho các thành viên của gia đình người bị bắt làm con tin từ cuộc lưu đày của Godwin năm 1051, hoặc thậm chí rằng ông đã chỉ đơn giản là đang đi dọc theo bờ biển của nước Anh và đánh bắt cá, họ phải dong buồm ra khỏi eo biển Anh vì một cơn bão bất ngờ. Có sự đồng thuận chung rằng ông đã rời khỏi Bosham và bị gió thổi lạc hướng đi rồi phải đổ bộ xuống bờ biển Ponthieu, nơi ông bị bắt giữ làm con tin bởi Công tước Guy. Công tước William đến đó ngay lập tức và ra lệnh cho Guy áp giải Harold qua chỗ ông ta.[4]

Dường như sau đó Harold đi cùng với William để chiến đấu chống lại Conan II, Công tước xứ Brittany (Bretagne) hiện là kẻ thù của William. Trong khi tiến vào Brittany, ngang qua tu viện kiên cố Mont St Michel, Harold được ghi lại là đã giải cứu hai binh sĩ của William từ bãi cát lún. Họ bám đuổi Conan từ Dol de Bretagne đến Rennes và cuối cùng là đến Dinan, nơi ông này đầu hàng và giao chiếc chìa khóa của chiếc pháo đài trên mũi của một ngọn giáo. William đã cho Harold xem các đồ binh giáp và các hiệp sĩ của ông ta. Các tài liệu của Tapestry Bayeux và các ghi chép Norman khác sau đó ghi lại rằng Harold đã thề trước các chứng tích thiêng liêng và trước William rằng sẽ hỗ trợ việc ông này lên ngôi vua nước Anh. Sau cái chết của Harold, người Norman đã ngay lập tức cáo buộc rằng khi nhận vương miện nước Anh, Harold đã tự phản bội lời thề của mình.

Do Tostig đã cho tăng gấp đôi thuế má một cách bất công vào năm 1065 và điều này đe dọa gây ra một cuộc nội chiến trong lòng nước Anh, Harold đã hỗ trợ người Northumbrian (một đám người mọi rợ ở phía Bắc) nổi dậy chống lại Tostig-anh trai của ông và thay thế ông ta bằng Morcar. Sự kiện này củng cố việc chấp nhận ông như là người kế nhiệm Edward, nhưng đã làm chia gia đình ông một cách chết người và đẩy Tostig sang liên minh với vua Harald Hardrada của xứ Na Uy.